Humans form mental images of 3D scenes to support counterfactual imagination, planning, and motor control. Our abilities to predict the appearance and affordance of the scene from previously unobserved viewpoints aid us in performing manipulation tasks (e.g., 6-DoF kitting) with a level of ease that is currently out of reach for existing robot learning frameworks. In this work, we aim to build artificial systems that can analogously plan actions on top of imagined images. To this end, we introduce Mental Imagery for Robotic Affordances (MIRA), an action reasoning framework that optimizes actions with novel-view synthesis and affordance prediction in the loop. Given a set of 2D RGB images, MIRA builds a consistent 3D scene representation, through which we synthesize novel orthographic views amenable to pixel-wise affordances prediction for action optimization. We illustrate how this optimization process enables us to generalize to unseen out-of-plane rotations for 6-DoF robotic manipulation tasks given a limited number of demonstrations, paving the way toward machines that autonomously learn to understand the world around them for planning actions.
translated by 谷歌翻译
Learning image representations using synthetic data allows training neural networks without some of the concerns associated with real images, such as privacy and bias. Existing work focuses on a handful of curated generative processes which require expert knowledge to design, making it hard to scale up. To overcome this, we propose training with a large dataset of twenty-one thousand programs, each one generating a diverse set of synthetic images. These programs are short code snippets, which are easy to modify and fast to execute using OpenGL. The proposed dataset can be used for both supervised and unsupervised representation learning, and reduces the gap between pre-training with real and procedurally generated images by 38%.
translated by 谷歌翻译
Asymmetrical distance structures (quasimetrics) are ubiquitous in our lives and are gaining more attention in machine learning applications. Imposing such quasimetric structures in model representations has been shown to improve many tasks, including reinforcement learning (RL) and causal relation learning. In this work, we present four desirable properties in such quasimetric models, and show how prior works fail at them. We propose Interval Quasimetric Embedding (IQE), which is designed to satisfy all four criteria. On three quasimetric learning experiments, IQEs show strong approximation and generalization abilities, leading to better performance and improved efficiency over prior methods. Project Page: https://www.tongzhouwang.info/interval_quasimetric_embedding Quasimetric Learning Code Package: https://www.github.com/quasimetric-learning/torch-quasimetric
translated by 谷歌翻译
我们介绍了一种新的图像取证方法：将物理折射物（我们称为图腾）放入场景中，以保护该场景拍摄的任何照片。图腾弯曲并重定向光线，因此在单个图像中提供了多个（尽管扭曲）的多个（尽管扭曲）。防守者可以使用这些扭曲的图腾像素来检测是否已操纵图像。我们的方法通过估计场景中的位置并使用其已知的几何和材料特性来估算其位置，从而使光线通过图腾的光线不十障。为了验证图腾保护的图像，我们从图腾视点重建的场景与场景的外观从相机的角度来检测到不一致之处。这样的方法使对抗性操纵任务更加困难，因为对手必须以几何一致的方式对图腾和图像像素进行修改，而又不知道图腾的物理特性。与先前的基于学习的方法不同，我们的方法不需要在特定操作的数据集上进行培训，而是使用场景和相机的物理属性来解决取证问题。
translated by 谷歌翻译
2022-07-20
计算机视觉中有意义的不确定性量化需要有关语义信息的推理 - 例如，照片中的人的头发颜色或街上汽车的位置。为此，最近在生成建模方面的突破使我们能够在分离的潜在空间中代表语义信息，但是在语义潜在变量上提供不确定性仍然具有挑战性。在这项工作中，我们提供了原则上的不确定性间隔，这些间隔可保证为任何潜在的生成模型包含真正的语义因素。该方法执行以下操作：（1）它使用分位数回归来输出潜在空间中每个元素的启发式不确定性间隔（2）校准了这些不确定性，以使它们包含新的，看不见的输入的潜在值。然后可以通过发电机传播这些校准间隔的终点，以为每个语义因素产生可解释的不确定性可视化。该技术可靠地传达了语义上有意义的，有原则和实例自适应的不确定性，例如图像超分辨率和图像完成。
translated by 谷歌翻译
通过一系列联邦举措和命令，美国政府一直在努力确保美国在AI中的领导。这些广泛的战略文件影响了美国空军美国部（DAF）等组织。DAF-MIT AI加速器是DAF和MIT之间的一项计划，以弥合AI研究人员与DAF任务要求之间的差距。DAF-MIT AI加速器支持的几个项目正在开发公共挑战问题，这些问题解决了许多联邦AI研究的重点。这些挑战是通过公开可用的大型AI-Ready数据集，激励开源解决方案，并为可以激发进一步研究的双重使用技术创建需求信号，来针对优先事项。在本文中，我们描述了正在开发的这些公共挑战以及它们的应用如何促进科学进步。
translated by 谷歌翻译
我们的世界充满了不对称。重力和风能使与回来更容易到达地方。诸如家谱图和引文图之类的社会文物固有地定向。在强化学习和控制中，最佳目标策略很少是可逆的（对称性）。这些不对称结构支持的距离函数称为准函数。尽管出现了共同的外观，但对准对象的学习几乎没有研究。我们的理论分析表明，一种通用的学习算法，包括不受限制的多层感知器（MLP），事实证明，学习与培训数据一致的准学学都无法学习。相比之下，我们提出的泊松准嵌入（PQE）是第一个准学的学习配方，两者都可以通过基于梯度的优化来学习，并且具有强大的性能保证。在随机图，社交图和离线Q学习上进行的实验证明了其对许多常见基线的有效性。
translated by 谷歌翻译
将信号与噪声分开的能力以及干净的抽象对智能至关重要。有了这种能力，人类可以在不考虑所有可能的滋扰因素的情况下有效执行现实世界任务。人造代理可以做同样的事情？当噪音时，代理可以安全地丢弃什么样的信息？在这项工作中，我们根据可控性和与奖励的关系将野外信息分为四种类型，并将有用的信息归为可控和奖励相关的有用信息。该框架阐明了有关强化学习（RL）中的各种先前工作所删除的信息，并导致我们提出的学习方法，即学习一种已明确影响某些噪声分散注意器的DeNOCONE MDP。对DeepMind Control Suite和Robodesk的变体进行的广泛实验表明，我们的DeNocy World模型的表现优于仅使用原始观测值，并且超过了先前的工作，跨政策优化控制任务以及关节位置回归的非控制任务。
translated by 谷歌翻译
即使自然图像有多种尺寸，生成模型也以固定分辨率运行。由于高分辨率的细节被删除并完全丢弃了低分辨率图像，因此丢失了宝贵的监督。我们认为，每个像素都很重要，并创建具有可变大小图像的数据集，该图像以本机分辨率收集。为了利用各种大小的数据，我们引入了连续尺度训练，该过程以随机尺度进行采样以训练具有可变输出分辨率的新发电机。首先，对生成器进行调节，可以使我们能够生成比以前更高的分辨率图像，而无需在模型中添加层。其次，通过对连续坐标进行调节，我们可以采样仍然遵守一致的全局布局的贴片，这也允许在更高分辨率下进行可扩展的训练。受控的FFHQ实验表明，与离散的多尺度方法相比，我们的方法可以更好地利用多分辨率培训数据，从而获得更好的FID分数和更清洁的高频细节。我们还训练包括教堂，山脉和鸟类在内的其他自然图像领域，并通过连贯的全球布局和现实的本地细节来展示任意量表的综合，超出了我们的实验中的2K分辨率。我们的项目页面可在以下网址找到：https：//chail.github.io/anyres-gan/。
translated by 谷歌翻译
培训监督图像综合模型需要批评评论权来比较两个图像：结果的原始真相。然而，这种基本功能仍然是一个公开问题。流行的方法使用L1（平均绝对误差）丢失，或者在预先预留的深网络的像素或特征空间中。然而，我们观察到这些损失倾向于产生过度模糊和灰色的图像，以及其他技术，如GAN需要用于对抗这些伪影。在这项工作中，我们介绍了一种基于信息理论的方法来测量两个图像之间的相似性。我们认为，良好的重建应该具有较高的相互信息与地面真相。这种观点使得能够以对比的方式学习轻量级批评者以“校准”特征空间，使得相应的空间贴片的重建被置于擦除其他贴片。我们表明，当用作L1损耗的替代时，我们的配方立即提升输出图像的感知现实主义，有或没有额外的GaN丢失。
translated by 谷歌翻译